Forecasting of uv-vis spectrometry time series for online water quality monitoring in operating urban sewer systems

El monitoreo de contaminantes en sistemas de saneamiento urbano es generalmente realizado por medio de campañas de muestreo, las muestras deben ser transportadas, almacenadas y analizadas en laboratorio. Sin embargo, los desarrollos en óptica y electrónica han permitido su fusión y aplicación en la espectrometría UV-Vis. Los sensores UV-Vis tienen como propósito determinar la dinámica de las cargas de materia orgánica (Demanda Química de Oxigeno DQO y Demanda Bioquímica de Oxigeno DBO5), nitratos, nitritos y Sólidos Suspendidos Totales (SST). Adicionalmente a los métodos aplicados para la calibración de los sensores y el análisis las series de tiempo de los espectros de absorbancias UV-Vis, es necesario desarrollar métodos de pronóstico con el fin de ser utilizada en control de monitoreo en línea en tiempo real. La información proveniente de los datos recolectados puede ser utilizada para la toma de decisiones y en aplicaciones de control de tiempo real. Realizar pronósticos es importante en procesos de toma de decisiones. Por lo tanto, el objetivo de este trabajo de investigación fue desarrollar uno o varios métodos de pronóstico que puedan ser aplicados a series de tiempo de espectrometría UV-Vis para el monitoreo en línea de la calidad de agua en sistemas urbanos de saneamiento en operación. Cinco series de tiempo de absorbancia UV-Vis obtenidas en línea en diferentes sitios fueron utilizadas, con un total de 5705 espectros de absorbancia UV-Vis: cuatro sitios experimentales en Colombia (Planta de Tratamiento de Aguas Residuales (PTAR) El-Salitre, PTAR San Fernando, Estación Elevadora de Gibraltar y un Humedal Construido/Tanque de Almacenamiento) y un sitio en Austria (Graz-West R05 Catchment outlet). El proceso propuesto completo consta de etapas a ser aplicadas a las series de tiempo de absorbancia UV-Vis y son: (i) entradas, series de tiempo de absorbancia UV-Vis,(ii) pre-procesamiento de las series de tiempo, análisis de outliers, completar los valores ausentes y reducción de la dimensionalidad,y (iii) procedimientos de pronóstico y evaluación de los resultados. La metodología propuesta fue aplicada a la series de tiempo con diferentes características (absorbancia), esta consiste del enventaneo Winsorising como paso para la remoción de outliers y la aplicación de la transformada discreta de Fourier (DFT) para reemplazar valores ausentes. Los nuevos valores reemplazando o los outliers o los valores ausentes presentan la misma o al menos la misma forma de la serie de tiempo original, permitiendo una visión macro en la coherencia de la serie de tiempo. La reducción de la dimensionalidad en las series de tiempo de absorbancia multivariadas permite obtener menor número de variables a ser procesadas: el análisis por componentes principales (PCA) como transformación lineal captura más del 97% de la variabilidad en cada serie de tiempo (en un rango de una a seis, dependiendo del comportamiento de la series de tiempo absorbancia) y el proceso de Clustering (k-means) combinado con cadenas de Markov. Los procedimientos de pronóstico basados en señales periódicas como la DFT, Chebyshev, Legendre y Regresión Polinomial fueron aplicados y estos pueden capturar el comportamiento dinámico de las series de tiempo. Algunas técnicas de aprendizaje de máquina fueron probadas y fue posible capturar el comportamiento de las series de tiempo en la etapa de calibración, los valores de pronóstico pueden seguir el comportamiento general comparado con los valores observados (excepto ANFIS, GA y Filtro de Kalman). Por lo tanto, ANN y SVM tiene buen rendimiento de pronóstico para la primer parte del horizonte de pronóstico (2 horas). La evaluación de cada metodología de pronóstico fue realizada utilizando cuatro indicadores estadísticos tales como porcentaje absoluto de error (APE), incertidumbre extendida (EU), conjunto de valores dentro del intervalo de confianza (CI) y suma de valores de incertidumbre extendida más el conjunto de valores dentro del intervalo de confianza. El rendimiento de los indicadores provee información acerca de los resultados de pronóstico multivariado con el fin de estimar y evaluar los tiempos de pronóstico para cierta metodología de pronóstico y determinar cuál metodología de pronóstico es mejor adaptada a diferentes rangos de longitudes de onda (espectros de absorbancia) para cada serie de tiempo de absorbancia UV-Vis en cada sitio de estudio. Los resultados en la comparación de las diferentes metodologías de pronóstico, resaltan que no es posible obtener la mejor metodología de pronóstico, porque todas las metodologías de pronóstico propuestas podrían generar un amplio número de valores que permitirán complementar cada una con las otras para diferentes pasos de tiempo de pronóstico y en diferentes rangos del espectro (UV y/o Vis). Por lo tanto, es propuesto un sistema híbrido que es basado en siete metodologías de pronóstico. Así, los valores de los espectros de absorbancia pronosticados fueron transformados a los correspondientes indicadores de calidad de agua (WQI) para utilización en la práctica. Los resultados de pronóstico multivariado presentan valores bajos de APE comparados con los resultados de pronóstico univariado utilizando directamente los valores WQI observados. Estos resultados, probablemente, son obtenidos porque el pronóstico multivariado incluye la correlación presente en todo el rango de los espectros de absorbancia (se captura de forma completa o al menos gran parte de la variabilidad de las series de tiempo),una longitud de onda interfiere con otra u otras longitudes de onda. Finalmente, los resultados obtenidos para el humedal construido/tanque de almacenamiento presentan que es posible obtener apreciables resultados de pronóstico en términos de tiempos de detección para eventos de lluvia. Adicionalmente, la inclusión de variables como escorrentía (nivel de agua para este caso) mejora substancialmente los resultados de pronóstico de la calidad del agua. El monitoreo de contaminantes en sistemas de saneamiento urbano es generalmente realizado por medio de campañas de muestreo, las muestras deben ser transportadas, almacenadas y analizadas en laboratorio. Sin embargo, los desarrollos en óptica y electrónica han permitido su fusión y aplicación en la espectrometría UV-Vis. Los sensores UV-Vis tienen como propósito determinar la dinámica de las cargas de materia orgánica (Demanda Química de Oxigeno DQO y Demanda Bioquímica de Oxigeno DBO5), nitratos, nitritos y Sólidos Suspendidos Totales (SST). Adicionalmente a los métodos aplicados para la calibración de los sensores y el análisis las series de tiempo de los espectros de absorbancias UV-Vis, es necesario desarrollar métodos de pronóstico con el fin de ser utilizada en control de monitoreo en línea en tiempo real. La información proveniente de los datos recolectados puede ser utilizada para la toma de decisiones y en aplicaciones de control de tiempo real. Realizar pronósticos es importante en procesos de toma de decisiones. Por lo tanto, el objetivo de este trabajo de investigación fue desarrollar uno o varios métodos de pronóstico que puedan ser aplicados a series de tiempo de espectrometría UV-Vis para el monitoreo en línea de la calidad de agua en sistemas urbanos de saneamiento en operación. Cinco series de tiempo de absorbancia UV-Vis obtenidas en línea en diferentes sitios fueron utilizadas, con un total de 5705 espectros de absorbancia UV-Vis: cuatro sitios experimentales en Colombia (Planta de Tratamiento de Aguas Residuales (PTAR) El-Salitre, PTAR San Fernando, Estación Elevadora de Gibraltar y un Humedal Construido/Tanque de Almacenamiento) y un sitio en Austria (Graz-West R05 Catchment outlet). El proceso propuesto completo consta de etapas a ser aplicadas a las series de tiempo de absorbancia UV-Vis y son: (i) entradas, series de tiempo de absorbancia UV-Vis,(ii) pre-procesamiento de las series de tiempo, análisis de outliers, completar los valores ausentes y reducción de la dimensionalidad,y (iii) procedimientos de pronóstico y evaluación de los resultados. La metodología propuesta fue aplicada a la series de tiempo con diferentes características (absorbancia), esta consiste del enventaneo Winsorising como paso para la remoción de outliers y la aplicación de la transformada discreta de Fourier (DFT) para reemplazar valores ausentes. Los nuevos valores reemplazando o los outliers o los valores ausentes presentan la misma o al menos la misma forma de la serie de tiempo original, permitiendo una visión macro en la coherencia de la serie de tiempo. La reducción de la dimensionalidad en las series de tiempo de absorbancia multivariadas permite obtener menor número de variables a ser procesadas: el análisis por componentes principales (PCA) como transformación lineal captura más del 97% de la variabilidad en cada serie de tiempo (en un rango de una a seis, dependiendo del comportamiento de la series de tiempo absorbancia) y el proceso de Clustering (k-means) combinado con cadenas de Markov. Los procedimientos de pronóstico basados en señales periódicas como la DFT, Chebyshev, Legendre y Regresión Polinomial fueron aplicados y estos pueden capturar el comportamiento dinámico de las series de tiempo. Algunas técnicas de aprendizaje de máquina fueron probadas y fue posible capturar el comportamiento de las series de tiempo en la etapa de calibración, los valores de pronóstico pueden seguir el comportamiento general comparado con los valores observados (excepto ANFIS, GA y Filtro de Kalman). Por lo tanto, ANN y SVM tiene buen rendimiento de pronóstico para la primer parte del horizonte de pronóstico (2 horas). La evaluación de cada metodología de pronóstico fue realizada utilizando cuatro indicadores estadísticos tales como porcentaje absoluto de error (APE), incertidumbre extendida (EU), conjunto de valores dentro del intervalo de confianza (CI) y suma de valores de incertidumbre extendida más el conjunto de valores dentro del intervalo de confianza. El rendimiento de los indicadores provee información acerca de los resultados de pronóstico multivariado con el fin de estimar y evaluar los tiempos de pronóstico para cierta metodología de pronóstico y determinar cuál metodología de pronóstico es mejor adaptada a diferentes rangos de longitudes de onda (espectros de absorbancia) para cada serie de tiempo de absorbancia UV-Vis en cada sitio de estudio. Los resultados en la comparación de las diferentes metodologías de pronóstico, resaltan que no es posible obtener la mejor metodología de pronóstico, porque todas las metodologías de pronóstico propuestas podrían generar un amplio número de valores que permitirán complementar cada una con las otras para diferentes pasos de tiempo de pronóstico y en diferentes rangos del espectro (UV y/o Vis). Por lo tanto, es propuesto un sistema híbrido que es basado en siete metodologías de pronóstico. Así, los valores de los espectros de absorbancia pronosticados fueron transformados a los correspondientes indicadores de calidad de agua (WQI) para utilización en la práctica. Los resultados de pronóstico multivariado presentan valores bajos de APE comparados con los resultados de pronóstico univariado utilizando directamente los valores WQI observados. Estos resultados, probablemente, son obtenidos porque el pronóstico multivariado incluye la correlación presente en todo el rango de los espectros de absorbancia (se captura de forma completa o al menos gran parte de la variabilidad de las series de tiempo),una longitud de onda interfiere con otra u otras longitudes de onda. Finalmente, los resultados obtenidos para el humedal construido/tanque de almacenamiento presentan que es posible obtener apreciables resultados de pronóstico en términos de tiempos de detección para eventos de lluvia. Adicionalmente, la inclusión de variables como escorrentía (nivel de agua para este caso) mejora substancialmente los resultados de pronóstico de la calidad del agua.The monitoring of pollutants in urban sewer systems is generally conducted by sampling campaigns, and the resulting samples must be transported, stored and analyzed in laboratory. However, the developments in optics and electronics have enabled the merge of them into the UV-Vis Spectrometry. UV-Vis probes have the purpose of determining the dynamics of loads of organic materials (i.e. Chemical Oxygen Demand (COD) and Biochemical Oxygen Demand (BOD5)), nitrates, nitrites and Total Suspended Solids (TSS). In addition to the methods used for the calibration of the probes and the analysis of the time series of UV-Vis absorbance spectra, it is necessary to develop forecasting methods in order to use the online control monitoring in real time. The information from the collected data can also be used for decision making purposes and for real-time control applications. Forecasting is important for decision-making processes. Therefore, the objective of this research work was to develop either a forecasting method or forecasting methods applied to UV-Vis spectrometry time series data for online water quality monitoring in operating urban sewer systems. Five UV-Vis Absorbance time series collected at different on-line measurement sites were used, for a total of 5705 UV-Vis absorbance spectra data: four sites in Colombia (El-Salitre Wastewater Treatment Plant-WWTP, San Fernando WWTP, Pumping Station (PS) sewage called Gibraltar and constructed-wetland/reservoir-tank (CWRT)) and one site in Austria (Graz-West R05 Catchment outlet). The complete process proposed to be applied to UV-Vis absorbance time series has several stages and these are: (i) inputs, the UV-Vis absorbance time series,(ii) the time series pre-processing, outliers analysis, complete missing values and time series dimensionality reduction,and (iii) forecasting procedures and evaluation of results. The methodology proposed was applied to the time series with different characteristics (absorbance), this consists of Winsorising as a step in outlier removal and the application of the Discrete Fourier Transform (DFT) to complete the missing values. The new values replaced either outliers or missing values present the same, or almost the same, shape as the original time series, granted the macro vision of the time series coherence. Dimensionality reduction of multivariate absorbance time series allows to have less variables to be processed: PCA linear transformation captures more than 97% of variability for each time series (PC ranging from one to six, depending on absorbance time series behavior), and Clustering process (k-means) combined with Markov Chains. Forecasting procedures based on periodic signals as DFT, Chebyshev, Legendre and Polynomial Regression were applied and they can capture the dynamic behaviour of the time series. Several Machine Learning technics were tested and it was possible to capture the behaviour of the time series at calibration stage, the forecasting obtained valúes can follow the general behaviour compared with observed valúes (with exception of ANFIS, GA and Kalman Filter). Therefore, ANN and SVM have good forecasting performances for first part of forecasting horizon (2 hours). The evaluation of each forecasting methodology was done using four statistic indicators as Absolute Percentage Error (APE), Extended Uncertainty (EU), Set of observed values within Confidence Interval (CI) and sum of EU and Set of observed values within CI. The performance indicators provided valuable information about multivariate forecasting results to estimate and evaluate the forecasting time for a given forecasting methodology and determine which forecasting methodology is best suited for different wavelength ranges (absorbance spectra) at each study site s UV-Vis absorbance time series. Results from different comparison of several forecasting methodologies, highlight that there is not possibility to have a best forecasting methodology among the proposed ones, because all of them could provide a wide forecasting values that would complemented each other for different forecasting time steps and spectra range (UV and/or Vis). Therefore, it is proposed a hybrid system that is based on seven forecasting methodologies. Thus, the forecasted absorbance spectra were transformed to Water Quality Indicators (WQI) for practical uses. The multivariate forecasting results show lower APE values compared to the univariate forecasting results (APE values) using the observed WQI. These results, probably, were obtained because multivariate forecasting includes the correlation presented at whole absorbance spectra range (captures complete or at least great part of time series variability),one wavelength interferes with another and/or other wavelengths. Finally, the results obtained for a constructed-wetland/reservoir-tank system show that it is possible to obtain valuable forecasting results in terms of time detection for some rainfall events. In addition, the inclusion of runoff variables (water level in this case) improves the water quality forecasting results.Doctor en IngenieríaDoctorad

PCA/DFT como herramienta de pronóstico para series temporales de absorbancia registradas mediante captores UV-Vis en sistemas de saneamiento urbano

The purpose of this work is to introduce a forecasting method for UV-Vis spectrometry time series that combines principal component analysis (PCA), the discrete Fourier transform (DFT) and the inverse fast Fourier transform (IFFT). The corresponding absorbance time series were used for three different study sites: (i) Salitre wastewater treatment plant (WWTP) in Bogotá; (ii) Gibraltar pumping station in Bogotá; and (iii) San Fernando WWTP in Itagüí (in the southern part of Medellín). Each of these time series had an equal number of samples (5705). By reducing the absorbance time series dimensionality with PCA, 3, 5 and 6 principal components were used for each study site respectively; these altogether explain more than 97% of the variability. It was used the most important harmonic given by the DFT and the IFFT procedure, which removed from one to half values of the time series length. Therefore, forecast errors between 0,01% and 34% for 95% of the cases were obtained for the three study sites and the wavelength ranges (UV, Vis and UV-Vis). However, for 100% of the cases errors were lower than 37%, independently of the wavelength and the forecasting time.El objetivo de este trabajo es presentar un método de pronóstico para series de tiempo de espectrometría UV-Vis, combinando el análisis de componentes principales PCA (Principal Component Analysis), la transformada discreta de Fourier, DFT (Discrete Fourier Transform) y la transformada inversa de Fourier, IFFT (Inverse Fast Fourier Transform). Se utilizaron las correspondientes series de tiempo de absorbancia para tres diferentes sitios de estudio: (i) Planta de tratamiento de aguas residuales Salitre (PTAR) en Bogotá; (ii) Estación elevadora de Gibraltar en Bogotá; y (iii) Planta de tratamiento de aguas residuales San Fernando (PTAR) en Itagüí (parte sur de Medellín). Cada una de las series de tiempo tiene igual número de muestras (5705). Al reducir la dimensionalidad de las series de tiempo de absorbancia con PCA, se utilizan para cada sitio de estudio 3, 5 y 6 componentes principales, respectivamente; explicando en conjunto más de 97% de la variabilidad. Se utiliza en el procedimiento DFT e IFFT el armónico más importante y se remueven desde uno hasta la mitad de los valores de la longitud total de las series de tiempo. Por consiguiente, los errores de pronóstico para los tres sitios de estudio y para tres rangos de longitudes de onda propuestos (UV, Vis y UV-Vis) están comprendidos entre 0,01% y 34% para 95% de los casos. Sin embargo, para 100% de los casos los errores son inferiores a 37%, independientemente de la longitud de onda y del tiempo de pronóstico

Deteccion de Valores Extremos e Imputación de Valores Faltantes para la Calidad de Agua en Series de Tiempo de Absorbancia UV-VIS

Context: The UV-Vis absorbance collection using online optical captors for water quality detection may yield outliers and/or missing values. Therefore, data pre-processing is a necessary pre-requisite to monitoring data processing. Thus, the aim of this study is to propose a method that detects and removes outliers as well as fills gaps in time series.Method: Outliers are detected using Winsorising procedure and the application of the Discrete Fourier Transform (DFT) and the Inverse of Fast Fourier Transform (IFFT) to complete the time series. Together, these tools were used to analyse a case study comprising three sites in Colombia ((i) Bogotá D.C. Salitre-WWTP (Waste Water Treatment Plant), influent; (ii) Bogotá D.C. Gibraltar Pumping Station (GPS); and, (iii) Itagüí, San Fernando-WWTP, influent (Medellín metropolitan area)) analysed via UV-Vis (Ultraviolet and Visible) spectra.Results: Outlier detection with the proposed method obtained promising results when window parameter values are small and self-similar, despite that the three time series exhibited different sizes and behaviours. The DFT allowed to process different length gaps having missing values. To assess the validity of the proposed method, continuous subsets (a section) of the absorbance time series without outlier or missing values were removed from the original time series obtaining an average 12% error rate in the three testing time series.Conclusions: The application of the DFT and the IFFT, using the 10% most important harmonics of useful values, can be useful for its later use in different applications, specifically for time series of water quality and quantity in urban sewer systems. One potential application would be the analysis of dry weather interesting to rain events, a feat achieved by detecting values that correspond to unusual behaviour in a time series. Additionally, the result hints at the potential of the method in correcting other hydrologic time series.Contexto: El registro de la absorbancia UV-Vis mediante captores ópticos en línea para la detección de la calidad del agua, en donde se pueden presentar valores atípicos o valores faltantes. Por lo tanto, el pre-procesamiento para corregir dichas anomalías es necesario para un mejor análisis de los datos de monitoreo. El objetivo de este estudio es proponer un método para detectar e imputar valores extremos  como también completar valores faltantes en series de tiempo.Método: La detección de valores atípicos utiliza el procedimiento de enventaneo y la aplicación de la Transformada Discreta de Fourier (DFT –Discrete Fourier Transform) y la inversa de la Transformada Rápida de Fourier (IFFT–Inverse of Fast Fourier Transform) para completar las series de tiempo. Estas herramientas fueron utilizadas para un caso de estudio compuesto por tres sitios en Colombia (i) PTAR-Salitre (Planta de Tratamiento de Aguas Residuales) Bogotá D.C., afluente; (ii) Estación´ Elevadora de Gibraltar Bogotá D.C.; y (iii) PTAR-San Fernando, área metropolitana de Medellín, afluente) analizados mediante espectros UV-Vis (Ultravioleta y Visible).Resultados: La detección de valores atípicos con el método propuesto obtiene resultados prometedores cuando los valores de los parámetros de la ventana son pequeños y auto-similares, esto  a pesar de que las tres series de tiempo utilizadas presentan diferentes tamaños y comportamientos. Para validar la metodología propuesta, sub-conjuntos continuos (una sección) de las series de tiempo de absorbancia sin valores ausentes o atípicos, fueron removidos de las series original obteniéndose  tasas de error de 12 % en promedio para todos los tres sitios de estudio.Conclusiones: La aplicación de la DFT y la IIFT, utilizando el 10 % de los harmónicos más importantes de los valores útiles es crucial para su posterior uso en diferentes aplicaciones, específicamente para series de tiempo de calidad y cantidad de agua en sistema de saneamiento urbano. Una posible aplicación podría ser la comparación de los efectos de clima seco respecto a temporadas de lluvia, mediante la detección de valores que corresponden a comportamiento inusual  en una serie de tiempo. Además, los resultados indican potencial aplicación  futura en la corrección de otras series de tiempo hidrológicas

Estimación Espectral de Series de Tiempo de Absorbancia Uv-Vis para el Monitoreo de Calidad de Aguas

Context: Signals recorded as multivariate time series by UV-Vis absorbance captors installed in urban sewer systems, can be non-stationary, yielding complications in the analysis of water quality monitoring. This work proposes to perform spectral estimation using the Box-Cox transformation and differentiation in order to obtain stationary multivariate time series in a wide sense. Additionally, Principal Component Analysis (PCA) is applied to reduce their dimensionality.Method: Three different UV-Vis absorbance time series for different Colombian locations were studied: (i) El-Salitre Wastewater Treatment Plant (WWTP) in Bogotá; (ii) Gibraltar Pumping Station (GPS) in Bogotá; and (iii) San-Fernando WWTP in Itagüí. Each UV-Vis absorbance time series had equal sample number (5705). The esti-mation of the spectral power density is obtained using the average of modified periodograms with rectangular window and an overlap of 50%, with the 20 most important harmonics from the Discrete Fourier Transform (DFT) and Inverse Fast Fourier Transform (IFFT).Results: Absorbance time series dimensionality reduction using PCA, resulted in 6, 8 and 7 principal components for each study site respectively, altogether explaining more than 97% of their variability. Values of differences below 30% for the UV range were obtained for the three study sites, while for the visible range the maximum differences obtained were: (i) 35% for El-Salitre WWTP; (ii) 61% for GPS; and (iii) 75% for San-Fernando WWTP.Conclusions: The Box-Cox transformation and the differentiation process applied to the UV-Vis absorbance time series for the study sites (El-Salitre, GPS and San-Fernando), allowed to reduce variance and to eliminate ten-dency of the time series. A pre-processing of UV-Vis absorbance time series is recommended to detect and remove outliers and then apply the proposed process for spectral estimation.Language: Spanish.Contexto: las señales registradas como de series de tiempo por sensores de espectrometría UV-Vis en diferen-tes instalaciones de saneamiento urbano, pueden ser no estacionarias, lo cual complica el análisis del monito-reo de la calidad del agua. Este trabajo propone realizar la estimación espectral aplicando la transformación de Box-Cox y la diferenciación con el fin de obtener series de tiempo estacionarias en sentido amplio y reducir su dimensionalidad con base en el análisis de componentes principales (PCA, por sus siglas en inglés).Método: la metodología se aplica a series de tiempo de absorbancia UV-Vis para tres sitios de estudio en Co-lombia: (i) Planta para el tratamiento de agua residual (PTAR) El-Salitre (Bogotá); (ii) Estación de Bombeo Gi-braltar (EBG) (Bogotá); y (iii) Planta para el tratamiento de agua residual (PTAR) San-Fernando (Itagüí). Las series de tiempo de absorbancia UV-Vis se registran con igual tamaño de 5705 muestras. Se realiza la estimación de la densidad espectral mediante el promedio de periodogramas modificados con ventana rectangular con un traslape del 50%, utilizando en el procedimiento DFT (Discrete Fourier Transform) e IFFT (Inverse Fast Fourier Transform) con los veinte armónicos más relevantes.Resultados: al reducir la dimensionalidad de las series de tiempo de absorbancia con PCA, se obtienen para cada sitio de estudio seis, ocho y siete componentes principales respectivamente, explicando en conjunto más del 97% de la variabilidad. Para los tres sitios de estudio, se obtuvieron valores de diferencias inferiores al 30% para el rango UV, mientras que para el rango visible se obtiene máximas diferencias de: (i) 35% para El-Salitre; (ii) 61% para EBG; y (iii) 75% para San-Fernando.Conclusiones: con la transformación de Box-Cox y el proceso de diferenciación aplicado a tres series de tiempo de absorbancia UV-Vis para los sitios propuestos de estudio, se logra reducir la varianza y se elimina la tenden-cia de las series de tiempo. Se recomienda realizar un pre-procesamiento de las series de tiempo de absorban-cia UV-Vis para detectar y remover los valores extremos y posteriormente aplicar el proceso propuesto para la estimación espectral.Idioma: Español

Estimación del exponente de HURST y dimensión fractal para el análisis de series de tiempo de absorbancia UV-VIS

The objective of this study is to estimate the exponent or Hurst parameter and the fractal dimension for UV-Vis spectrometry time series analysis, using principal component analysis (PCA). This analysis is performed to understand if the UV-Vis absorbance time series are persistent, anti-persistent, deterministic or white noise.  Three different UV-Vis absorbance time series for three different study sites were used: (i) Salitre wastewater treatment plant (WWTP) in Bogotá; (ii) Gibraltar pumping station (GPS) in Bogotá; and (iii) San Fernando WWTP in Itagüí (south of Medellín). Each of these time series had an equal number of samples (5705). The dimensionality of the absorbance spectra, given their high correlation, was reduced using PCA and the first principal component was used for each study site. For the three study sites, this first principal component explained from 82% to 94% of the variability. The Hurst exponents were determined: (i) 0.8 for Salitre WWTP; (ii) 0.85 for GPS; and (iii) 0.89 for San Fernando WWTP. Using Hurst exponent values, for the three UV-Vis absorbance time series at same study sites, fractal dimensions were determined and a fractal dimension average of 1,153 was obtained. The three UV-Vis absorbance time series are persistent and have high self-similarity since the Hurst exponent is greater than 0.5. El objetivo de este trabajo es estimar el exponente o parámetro de Hurst y la dimensión fractal para el análisis de series de tiempo de espectrometría UV-Vis, utilizando el análisis de componentes principales PCA (Principal Component Analysis). El análisis se realiza para comprender si las series de tiempo de absorbancia UV-Vis son persistentes, anti-persistentes, determinísticas o si son ruido blanco.  Se utilizaron tres diferentes series de tiempo de absorbancia UV-Vis para tres diferentes sitios de estudio: (i) Planta de tratamiento de aguas residuales Salitre (PTAR) en Bogotá; (ii) Estación elevadora de Gibraltar en Bogotá (EEG); y (iii) Planta de tratamiento de aguas residuales San Fernando (PTAR) en Itagüí (sur de Medellín). Cada una de las series de tiempo tiene igual número de muestras (5705). Se redujo la dimensionalidad de los espectros de absorbancia, dada su alta correlación, con PCA y se utilizó para cada sitio de estudio la primera componente principal. Esta componente principal explicó entre el 82% al 94% de la variabilidad para los tres sitios de estudio. Se determinaron los exponentes de Hurst: (i) 0.8 para PTAR Salitre; (ii) 0.85 para EEG; y (iii) 0.89 para PTAR San Fernando. A partir de los valores de los exponentes de Hurst se determinan las dimensiones fractales para las tres series de tiempo de absorbancia UV-Vis en los tres sitios de estudio y se obtiene en promedio una dimensión fractal de 1153. Las tres series de tiempo de absorbancia UV-Vis son persistentes y con alta auto-similitud, dado que el exponente de Hurst es mayor a 0.5

Arima as a forecasting tool for water quality time series measured with UV-Vis spectrometers in a constructed wetland

Hernández, N., Camargo, J., Moreno, F., Plazas-Nossa, L., & Torres, A. (September-October, 2017). Arima as a tool to predict water quality using time series recorded with UV-Vis spectrometers in a constructed wetland. Water Technology and Sciences (in Spanish), 8(5), 127-139. The prediction of water quality plays a crucial role in discussions about urban drainage systems, given that the integrated management of this resource is required in order to meet human needs. The present paper uses Arima (Autoregressive Integrated Moving Average) to predict influent and effluent water quality in a constructed wetland, as well as its pollutant removal efficiency. The wetland is located on the campus of the Pontificia Universidad Javeriana in Bogotá, Colombia. Arima prediction values were based on time series obtained with UV-Vis spectrometry probes. These predictions were found to be adequate for the first 12 hours of the water quality time series for the three data sets analyzed: influent, effluent, and efficiency. Overall, none of the data had prediction errors over 15%. In separate analyses of the relative predictive errors in influent and effluent values, they were found to be less significant for UV wavelengths than for the visible range (Vis). In addition, the variability in this type of error was less for the UV range than for the Vis range, which indicates that Arima is a suitable prediction method for analyzing pollutants that fall in the UV range

PCA/DFT as forecasting tools for absorbance time series received by UV-visible probes in urban sewer systems

The purpose of this work is to introduce a forecasting method for UV-Vis spectrometry time series that combines principal component analysis (PCA), the discrete Fourier transform (DFT) and the inverse fast Fourier transform (IFFT). The corresponding absorbance time series were used for three different study sites: (i) Salitre wastewater treatment plant (WWTP) in Bogotá; (ii) Gibraltar pumping station in Bogotá; and (iii) San Fernando WWTP in Itagüí (in the southern part of Medellín). Each of these time series had an equal number of samples (5705). By reducing the absorbance time series dimensionality with PCA, 3, 5 and 6 principal components were used for each study site respectively; these altogether explain more than 97% of the variability. It was used the most important harmonic given by the DFT and the IFFT procedure, which removed from one to half values of the time series length. Therefore, forecast errors between 0,01% and 34% for 95% of the cases were obtained for the three study sites and the wavelength ranges (UV, Vis and UV-Vis). However, for 100% of the cases errors were lower than 37%, independently of the wavelength and the forecasting time.</p

PCA/DFT como herramienta de pronóstico para series temporales de absorbancia registradas mediante captores UV-Vis en sistemas de saneamiento urbano

The purpose of this work is to introduce a forecasting method for UV-Vis spectrometry time series that combines principal component analysis (PCA), the discrete Fourier transform (DFT) and the inverse fast Fourier transform (IFFT). The corresponding absorbance time series were used for three different study sites: (i) Salitre wastewater treatment plant (WWTP) in Bogotá; (ii) Gibraltar pumping station in Bogotá; and (iii) San Fernando WWTP in Itagüí (in the southern part of Medellín). Each of these time series had an equal number of samples (5705). By reducing the absorbance time series dimensionality with PCA, 3, 5 and 6 principal components were used for each study site respectively; these altogether explain more than 97% of the variability. It was used the most important harmonic given by the DFT and the IFFT procedure, which removed from one to half values of the time series length. Therefore, forecast errors between 0,01% and 34% for 95% of the cases were obtained for the three study sites and the wavelength ranges (UV, Vis and UV-Vis). However, for 100% of the cases errors were lower than 37%, independently of the wavelength and the forecasting time.El objetivo de este trabajo es presentar un método de pronóstico para series de tiempo de espectrometría UV-Vis, combinando el análisis de componentes principales PCA (Principal Component Analysis), la transformada discreta de Fourier, DFT (Discrete Fourier Transform) y la transformada inversa de Fourier, IFFT (Inverse Fast Fourier Transform). Se utilizaron las correspondientes series de tiempo de absorbancia para tres diferentes sitios de estudio: (i) Planta de tratamiento de aguas residuales Salitre (PTAR) en Bogotá; (ii) Estación elevadora de Gibraltar en Bogotá; y (iii) Planta de tratamiento de aguas residuales San Fernando (PTAR) en Itagüí (parte sur de Medellín). Cada una de las series de tiempo tiene igual número de muestras (5705). Al reducir la dimensionalidad de las series de tiempo de absorbancia con PCA, se utilizan para cada sitio de estudio 3, 5 y 6 componentes principales, respectivamente; explicando en conjunto más de 97% de la variabilidad. Se utiliza en el procedimiento DFT e IFFT el armónico más importante y se remueven desde uno hasta la mitad de los valores de la longitud total de las series de tiempo. Por consiguiente, los errores de pronóstico para los tres sitios de estudio y para tres rangos de longitudes de onda propuestos (UV, Vis y UV-Vis) están comprendidos entre 0,01% y 34% para 95% de los casos. Sin embargo, para 100% de los casos los errores son inferiores a 37%, independientemente de la longitud de onda y del tiempo de pronóstico

PCA/DFT como herramienta de pronóstico para series temporales de absorbancia registradas mediante captores UV-Vis en sistemas de saneamiento urbano

The purpose of this work is to introduce a forecasting method for UV-Vis spectrometry time series that combines principal component analysis (PCA), the discrete Fourier transform (DFT) and the inverse fast Fourier transform (IFFT). The corresponding absorbance time series were used for three different study sites: (i) Salitre wastewater treatment plant (WWTP) in Bogotá; (ii) Gibraltar pumping station in Bogotá; and (iii) San Fernando WWTP in Itagüí (in the southern part of Medellín). Each of these time series had an equal number of samples (5705). By reducing the absorbance time series dimensionality with PCA, 3, 5 and 6 principal components were used for each study site respectively; these altogether explain more than 97% of the variability. It was used the most important harmonic given by the DFT and the IFFT procedure, which removed from one to half values of the time series length. Therefore, forecast errors between 0,01% and 34% for 95% of the cases were obtained for the three study sites and the wavelength ranges (UV, Vis and UV-Vis). However, for 100% of the cases errors were lower than 37%, independently of the wavelength and the forecasting time.El objetivo de este trabajo es presentar un método de pronóstico para series de tiempo de espectrometría UV-Vis, combinando el análisis de componentes principales PCA (Principal Component Analysis), la transformada discreta de Fourier, DFT (Discrete Fourier Transform) y la transformada inversa de Fourier, IFFT (Inverse Fast Fourier Transform). Se utilizaron las correspondientes series de tiempo de absorbancia para tres diferentes sitios de estudio: (i) Planta de tratamiento de aguas residuales Salitre (PTAR) en Bogotá; (ii) Estación elevadora de Gibraltar en Bogotá; y (iii) Planta de tratamiento de aguas residuales San Fernando (PTAR) en Itagüí (parte sur de Medellín). Cada una de las series de tiempo tiene igual número de muestras (5705). Al reducir la dimensionalidad de las series de tiempo de absorbancia con PCA, se utilizan para cada sitio de estudio 3, 5 y 6 componentes principales, respectivamente; explicando en conjunto más de 97% de la variabilidad. Se utiliza en el procedimiento DFT e IFFT el armónico más importante y se remueven desde uno hasta la mitad de los valores de la longitud total de las series de tiempo. Por consiguiente, los errores de pronóstico para los tres sitios de estudio y para tres rangos de longitudes de onda propuestos (UV, Vis y UV-Vis) están comprendidos entre 0,01% y 34% para 95% de los casos. Sin embargo, para 100% de los casos los errores son inferiores a 37%, independientemente de la longitud de onda y del tiempo de pronóstico

Spectral Estimation of UV-Vis Absorbance Time Series for Water Quality Monitoring

Contexto: las señales registradas como de series de tiempo por sensores de espectrometría UV-Vis en diferen-tes instalaciones de saneamiento urbano, pueden ser no estacionarias, lo cual complica el análisis del monito-reo de la calidad del agua. Este trabajo propone realizar la estimación espectral aplicando la transformación de Box-Cox y la diferenciación con el fin de obtener series de tiempo estacionarias en sentido amplio y reducir su dimensionalidad con base en el análisis de componentes principales (PCA, por sus siglas en inglés).Método: la metodología se aplica a series de tiempo de absorbancia UV-Vis para tres sitios de estudio en Co-lombia: (i) Planta para el tratamiento de agua residual (PTAR) El-Salitre (Bogotá); (ii) Estación de Bombeo Gi-braltar (EBG) (Bogotá); y (iii) Planta para el tratamiento de agua residual (PTAR) San-Fernando (Itagüí). Las series de tiempo de absorbancia UV-Vis se registran con igual tamaño de 5705 muestras. Se realiza la estimación de la densidad espectral mediante el promedio de periodogramas modificados con ventana rectangular con un traslape del 50%, utilizando en el procedimiento DFT (Discrete Fourier Transform) e IFFT (Inverse Fast Fourier Transform) con los veinte armónicos más relevantes.Resultados: al reducir la dimensionalidad de las series de tiempo de absorbancia con PCA, se obtienen para cada sitio de estudio seis, ocho y siete componentes principales respectivamente, explicando en conjunto más del 97% de la variabilidad. Para los tres sitios de estudio, se obtuvieron valores de diferencias inferiores al 30% para el rango UV, mientras que para el rango visible se obtiene máximas diferencias de: (i) 35% para El-Salitre; (ii) 61% para EBG; y (iii) 75% para San-Fernando.Conclusiones: con la transformación de Box-Cox y el proceso de diferenciación aplicado a tres series de tiempo de absorbancia UV-Vis para los sitios propuestos de estudio, se logra reducir la varianza y se elimina la tenden-cia de las series de tiempo. Se recomienda realizar un pre-procesamiento de las series de tiempo de absorban-cia UV-Vis para detectar y remover los valores extremos y posteriormente aplicar el proceso propuesto para la estimación espectral.Idioma: Español Context: Signals recorded as multivariate time series by UV-Vis absorbance captors installed in urban sewer systems, can be non-stationary, yielding complications in the analysis of water quality monitoring. This work proposes to perform spectral estimation using the Box-Cox transformation and differentiation in order to obtain stationary multivariate time series in a wide sense. Additionally, Principal Component Analysis (PCA) is applied to reduce their dimensionality.Method: Three different UV-Vis absorbance time series for different Colombian locations were studied: (i) El-Salitre Wastewater Treatment Plant (WWTP) in Bogotá; (ii) Gibraltar Pumping Station (GPS) in Bogotá; and (iii) San-Fernando WWTP in Itagüí. Each UV-Vis absorbance time series had equal sample number (5705). The esti-mation of the spectral power density is obtained using the average of modified periodograms with rectangular window and an overlap of 50%, with the 20 most important harmonics from the Discrete Fourier Transform (DFT) and Inverse Fast Fourier Transform (IFFT).Results: Absorbance time series dimensionality reduction using PCA, resulted in 6, 8 and 7 principal components for each study site respectively, altogether explaining more than 97% of their variability. Values of differences below 30% for the UV range were obtained for the three study sites, while for the visible range the maximum differences obtained were: (i) 35% for El-Salitre WWTP; (ii) 61% for GPS; and (iii) 75% for San-Fernando WWTP.Conclusions: The Box-Cox transformation and the differentiation process applied to the UV-Vis absorbance time series for the study sites (El-Salitre, GPS and San-Fernando), allowed to reduce variance and to eliminate ten-dency of the time series. A pre-processing of UV-Vis absorbance time series is recommended to detect and remove outliers and then apply the proposed process for spectral estimation.Language: Spanish